智感超清：AI+转码，给你最优的视觉体验

当前互联网已全面进入视频化时代，视频流量越来越庞大。对于视频应用平台来说，带宽成本支出也是非常大的。如何通过技术实现在最小的带宽消耗下，最大幅度的提升用户的观看体验是所有视频应用平台所追求的目标。

在云智峰会上百度智能云重磅发布了“智感超清”产品，集成多种视觉AI与编码技术，通过深度学习技术对画面内容进行分析，根据视频场景及复杂度，智能调节编码参数，减少视频画面不必要的码率分配，最大能节省50%+的视频码率。同时通过画质修复、色彩增强等技术，优化主观视觉体验，大幅提高画面质量，让视频在更低的带宽下实现更清晰的观看体验。

目前，百度智能云智感超清产品已全面应用于百度系视频APP，如好看视频、全民小视频，每月节约数TB级的带宽成本。

01基于内容自适应的智能编码

实际生产环境中，视频内容类型和画面复杂度多种多样，传统在码率控制方式上以VBR或者CBR为主。CBR码率非常恒定，但是它的质量波动比较大从而导致质量得不到保障；VBR的质量相对较好，但是需要对所有的视频预设一个平均码率导致视频Size增加。

智感超清要解决的最根本问题是如何从视频内容的复杂度、视频质量、视频码率三者关系中找到最优平衡点，既能保证视频编码质量，又能提升压缩率，节省传输带宽。

从技术上来说，内容自适应编码的粒度从粗到细分为视频类别（Category）、视频级别（Title）、分片级别（Chunk）、场景级别（Shot）、帧级别（Frame），智感超清目前实现了场景（Shot）级别的码率智能分配。

百度智能云技术团队选取了大量测试序列，从测试序列中获取时间复杂度与空间复杂度信息，并对不同的序列按照复杂度进行分类，以保证测试序列能够覆盖尽可能多的实际场景。通过大量测试序列的评测及数据标注，深入分析视频场景、复杂度、视频编码参数及视频质量的关系，建立视频特征数据库。然后通过AI深度学习模型进行训练，通过模型预测可以得到待编码的视频在一定视频质量下的最优编码参数。简单的场景分配较低的码率就能获得较好的画面质量，同时能降低文件大小，而较复杂的场景则分配较高的码率去获得较好的画面质量，当然这里可以设定最大码率限制，从而去控制文件大小。

总之，智感超清1.0在人眼主观上实现了一个恒定质量的用户体验，同时能节省50%+的带宽成本和存储成本。

02基于人眼感观的增强优化

UGC短视频行业场景下，存在着大量的由于拍摄问题或者压缩问题带来的色彩灰暗、压缩噪点等低质量的视频，而很多经典老片也存在胶片颗粒、划痕等问题，非常影响人眼的主观感受。

智感超清产品基于最新的AI技术，实现了创新性的视频增强解决方案，采用画质修复和色彩增强，可以在不增加额外带宽的前提下提升视频的显示效果。

其利用深度学习技术对画面的颜色、亮度、对比度、饱和度等进行调优，并对边缘纹理信息进行增强，去除抖动、划痕、噪点等，让画面看上去更漂亮，从而提升视频人眼感官的质量。

技术实现上的基本思路是利用多帧相关信息去除压缩引起的噪声、块效应、伪影等，利用周边质量较高的帧提升当前帧质量。并通过运动估计网络，经过运动补偿模块生成帧间预测信号，再把前后帧的补偿图像和当前帧输入到视频增强网络，最后输出主观增强后的视频。

► 老片修复样例：

► 主观增强样例：

除此之外，从视频压缩的角度出发，为了突破基于传统信号压缩编码极限，必须充分利用人眼视觉系统（HVS）的特性，采用了感兴趣区域(ROI)编码技术，提高了视频的质量。即在帧内码率分配环节，可以重点考虑人眼感兴趣的区域，比如运动、人脸、肤色、文章、纹理等区域，采用合适的量化参数，确保将有限的码率分配到人眼更关注的重点区域，取得更优的主观质量。

03超分辨率

4K的电视屏幕越来越普及了，但是视频源上却严重不足。大量库存的标清、高清资源，可以通过基于视频的超分技术重制到4K超高清，实现快速的内容供给。

超分辨率是指将视频从低分辨率，采用AI的方法采样重建到高分辨率的视频（如SD->HD 或 HD->4K），并提升视频画面的细节。在生成4K视频的过程中，采用AI技术智能生成内插帧，可以实现将50i或者25fps的视频，上采样到50fps，同时支持HDR、10bit，达到真4K的标准。如下图所示，通过在服务端实现基于AI的超分辨率服务，可以将低清版本的视频，恢复成高清或者超高清版本的视频，以满足内容分发的需求。

同时，百度智能云技术团队正在开展超分技术在移动端的应用探索。在直播或者点播领域，传输一路较低分辨率的视频，通过移动端的超分渲染，达到高清的效果，即节省了视频传输带宽，又提升了终端的用户体验。

▽

结尾

更高更清晰的视频编码，更好的终端用户体验，是视频技术不断追求的目标。5G和AI技术的发展，也促进了视频向超高清4K视频的应用落地。我们将AI技术应用到了从视频采集、压缩、上传、转码、分发到播放的整个视频技术栈中。

► 通过智能编码，基于内容自适应的最优编码参数设置，获得了恒定的视频质量，同时带宽最节省。

► 通过基于AI的主观质量增强，获得了更适合于人眼的高清画质。

► 通过超分辨率技术，进一步提升图像细节，重塑画面质量。

► 通过基于AI的复杂度预测，在转码工程上实现智能化的调度，实现极速转码，降低端到端的时效性。

未来，百度智能云将持续输出AI能力，为广大视频平台、视频用户甚至更广泛行业中的视频生产者与使用者们提供更丰富的视频产品，更好地服务于真实生活场景，驱动视频行业发展，惠及更多用户。